Найдено записей: 7
'Команда из Anthropic и Thinking Machines провела стресс-тест спецификаций с 300k+ сценариев ценностных компромиссов и показала, что сильные расхождения предсказывают проблемы в спецификациях.'
'Узнайте, как с помощью DeepEval генерировать синтетические goldens для проверки и бенчмаркинга вашего RAG-пайплайна до запуска.'
'Google AI представил Stax, инструмент для разработчиков, позволяющий оценивать и сравнивать большие языковые модели с помощью настраиваемых авторейтеров и аналитики.'
Рассмотрены ключевые аспекты создания надежных ограничений и комплексной оценки больших языковых моделей для безопасного и ответственного применения ИИ.
В этом руководстве показано, как использовать MLflow для оценки ответов Google Gemini на фактологические запросы с помощью интегрированных метрик, объединяя API OpenAI и Google.
Автоматизированный фреймворк оценки AWS обеспечивает масштабируемую и точную проверку больших языковых моделей, повышая их надежность и безопасность.
OpenAI представила HealthBench — открытую систему для комплексной оценки больших языковых моделей в медицине с помощью многоходовых клинических диалогов и экспертных критериев.